"Backpropagation and the brain" realized in cortical error neuron microcircuits｜bioRxiv（2025）
Kevin Max, Ismael Jaras, Arno Granier, Katharina A. Wilmes, Mihai A. Petrovici
DOI: https://doi.org/10.1101/2025.07.11.664263
under CC BY 4.0 https://creativecommons.org/licenses/by/4.0/
脳がどのように誤差逆伝播法(Back-Propagation)を実現しているのか
脳内では予測と現実のミスマッチ(Mismatch)に反応する神経活動が知られている
その活動がどのように学習に使われているかは未解明
Naa_tsure.iconいわゆる予測誤差(Prediction Errors)だが、本当に予測誤差かは不明
Naa_tsure.icon実験的なデータに対してはミスマッチ(Mismatch)応答とするのが妥当
誤差逆伝播法(Back-Propagation)と予測符号化(Predictive Coding:PC)は表裏一体
入力(input)と潜在表現(latent)を入れ替えて階層を反転させれば数理的に相似
予測符号化(Predictive Coding:PC)：
入力(感覚刺激)を予測する生成モデル（Generative models）
予測誤差(Prediction Errors)の最小化を通じて学習
高次領域→低次領域の生成
誤差逆伝播法(Back-Propagation)
入力を分類・変換する識別モデル
出力誤差（出力−教師）の最小化を通じて学習
低次領域→高次領域の識別
大脳皮質(Cortex)のモデル
layer 2/3とlayer 5の錐体細胞(Pyramidal cell)をモデル化
Error neurons: 誤差信号を符号化
Representation neurons: 表象/予測を生成
３つの区画を持つマルチコンパートメントモデル(Multi-compartment model)
細胞体(soma)
基底樹状突起(basal dendrite)
尖端樹状突起(Apical dendrite)
厳密な階層性のない回帰(Recurrency)ネットワーク
予測ニューロンと誤差ニューロンは厳密な1-1対応はない
feedforwardとFeedbackは常に連続的に存在
誤差逆伝播法(Back-Propagation)のような時間的な２つのフェーズがない
学習はヘブの学習則(Hebbian Learning)に従う
presynaptic rate × postsynaptic voltage difference (delta rule)
$ Δw_{ij}​∝r_{i}^{pre}​×(V_{j}^{post}​−\hat{V}_{j}​)
preの活動が強くかつpostの電位が予測より強かった時に強められる
https://scrapbox.io/files/6900f5004bf7590127a72906.png
膜電位ダイナミクスの方程式
表現ユニット
https://scrapbox.io/files/6900f1a276c93f40fffa9fea.png
https://scrapbox.io/files/6900f5986dd456037773bc74.png
https://scrapbox.io/files/6900f1e1676a1b340d46fe9d.png
https://scrapbox.io/files/6900f149a7a641d93478e912.png
https://scrapbox.io/files/6900f1d079c2a8af45339268.png
$ 𝜏_𝑟 は「prospective time constant（予測時間定数）」
𝑢ˇ(𝑡) は「将来を見越した（prospective）」膜電位
ϕ(⋅) は発火関数
現在の入力に反応するだけでなく、これから電位がどちらに変化しそうか（d/dt項）も考慮して発火率を決める
prospective coding
エラーユニット
https://scrapbox.io/files/6900f54218f7e56c350a5735.png
https://scrapbox.io/files/6900f56cfe647be56b94d326.png
https://scrapbox.io/files/6900f67888d9d5ad9625ff8f.png
今回の論文が提案するエラーの計算
https://scrapbox.io/files/6900f78cfc90afd2e1da03ee.png
BPで使われているエラーの計算
https://scrapbox.io/files/6900f7964bf7590127a732e7.png
重み輸送問題(weight transport problem)はPhaseless Alignment Learning; PALで解決する
今回ではfeedforwardの重みWとFeedbackの重みBが一致する必要がある
Learning efficient backprojections across cortical hierarchies in real time | Nature Machine Intelligence (2024)
活性化関数(activation function)の微分が必要な問題は、temporal noiseを利用
https://scrapbox.io/files/69017f06326a4d40b430d678.png
樹状突起(Dendrite)で高域通過フィルタ(high-pass filtering)を実装(18)
(18)をそのまま平均するとノイズは正負があるので0になってしまう
ReLUなどの非線形関数を通してから平均することで微分を取り出す
https://scrapbox.io/files/690181fdc20876aa4d0644d2.png
学習される重みはfeedforwardの重みWとFeedbackの重みB
Wは以下のようにヘブの学習則(Hebbian Learning)で更新
https://scrapbox.io/files/6901856e84cfd8b6377411ec.png
BはPhaseless Alignment Learning; PALによってWに従って更新される
https://scrapbox.io/files/69018653707c7a89a3b8fbc6.png
https://scrapbox.io/files/690188ad8c2b4c8c38c3048e.png
領域内の局所的な結合Lに関しては固定
https://scrapbox.io/files/690185de0dc632cfbe671b2e.png
恒等行列に小さなノイズを加えたもの
エラーと予測ユニット間はゆるい一対一の結合